- 概述
- 用户界面自动化
- UI-ANA-016 - 拉取打开浏览器 URL
- UI-ANA-017 - 出错时继续 True
- UI-ANA-018 - 列出 OCR/图像活动
- UI-DBP-006 - 容器使用情况
- UI-DBP-013 - Excel 自动化误用
- UI-DBP-030 - 选取器中的禁止变量使用情况
- ST-DBP-021 - 硬编码超时
- UI-PRR-001 - 模拟单击
- UI-PRR-002 - 模拟键入
- UI-PRR-003 - 打开应用程序误用
- UI-PRR-004 - 硬编码延迟
- UI-REL-001 - 选取器中的大 IDX
- UI-SEC-004 - 选取器电子邮件数据
- UI-SEC-010 - 应用程序/Url 限制
- UI-USG-011 - 不允许的属性
- SY-USG-013 - 私有文件调用
- SY-USG-014 - 执行模板占位符不正确
- 通过用户界面自动化实现自动化的应用程序和技术
- UiPath 浏览器迁移工具
- 计算机视觉录制器
- 单击
- 悬停
- 输入安全文本
- 发送热键
- 键入
- 选中
- 选择项目
- 选择多个项目
- 获取文本
- 设置文本
- 激活
- 高亮显示
- 设置焦点
- 锚点基准
- 上下文感知锚点
- 查找相对元素
- 在屏幕上指定
- 存在元素
- 查找元素
- 等待元素消失
- 查找子元素
- 获取上级
- 元素作用域
- 获取属性
- 设置剪切区域
- 获取位置
- 截取屏幕截图
- 等待属性
- 在元素出现时
- 在元素消失时
- 单击文本
- 悬停文本
- 查找文本位置
- 获取全文
- 获取可见文本
- 提取结构化数据
- 存在文本
- 单击 OCR 文本
- 悬停在 OCR 文本上方
- 获取 OCR 文本
- 查找 OCR 文本位置
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Microsoft Azure 计算机视觉 OCR
- Tesseract OCR
- Google Cloud Vision OCR
- 存在 OCR 文本
- 单击图像
- 悬停在图像上方
- 查找图像匹配项
- 存在图像
- 查找图像
- 等待图像消失
- 在图像出现时
- 在图像消失时
- 加载图像
- 保存图像
- 附加浏览器
- 关闭选项卡
- 返回
- 前往
- 转至主页
- 注入 JS 脚本
- 导航至
- 打开浏览器
- 刷新浏览器
- 设置网页属性
- 附加窗口
- 关闭窗口
- 获取活动窗口
- 隐藏窗口
- 最大化窗口
- 最小化窗口
- 移动窗口
- 还原窗口
- 显示窗口
- 导出用户界面树
- 调用 ActiveX 方法
- 注入 .NET 代码
- 单击触发器
- 按键触发器
- 单击图像触发器
- 系统触发器
- 热键触发器
- 鼠标触发器
- 获取事件信息
- 监控事件
- 获取源元素
- 重播用户事件
- 阻止用户输入
- 使用前台
- 元素属性更改触发器
- 元素状态更改触发器
- 标注
- 复制选定文本
- 从剪贴板获取
- 设置为剪贴板
- 关闭应用程序
- 打开应用程序
- 启动进程
- 获取密码
- 工具提示
- 单击屏幕上的图片
- 单击工具栏按钮
- 读取状态栏
- 在日历中选择日期
- 选择菜单项
- 展开树
- 调用事务
- SAP 登录
- SAP 登录
- 表格单元范围
- SAP 会话属性更改触发器
- 展开 ALV 树
- 展开 ALV 层次结构表格
- Computer Vision Local Server
- 移动自动化
- 终端
使用“计算机视觉”活动
所有计算机视觉活动仅在 CV 屏幕作用域 活动中起作用,该活动建立与神经网络服务器的实际连接,从而使您能够分析要自动化的应用程序的用户界面。
使用“计算机视觉”活动的任何工作流都必须首先将“ CV 屏幕作用域 ”活动拖动到设计器面板。
完成此操作后,可以使用作用域活动主体中的“ 在屏幕上指明” 按钮选择要使用的屏幕区域。
正确配置 CV 屏幕范围 活动后,您可以开始使用包中的所有其他活动来构建自动化。
可以在设计时使用活动正文中的“ 在屏幕上指示” 按钮配置对用户界面元素执行操作的活动。 具有此功能的活动包括:
单击“ 在屏幕上指示” (热键: I)按钮将打开帮助程序向导。
指定
“ 指示 ” 字段指定您当前要指示的内容。 首次打开帮助程序时,需要指定 目标 。 对于每个可能的目标,向导会自动选择一个锚点(如果有)。
显示元素
向导中的“ 显示元素 ”(热键: s)按钮高亮显示计算机视觉分析已识别的所有用户界面元素,使您可以更轻松地选择要与之交互的对象。
屏幕刷新
可以在设计时使用“ 屏幕刷新 ”(热键: F5)按钮,以防目标应用程序发生更改,从而将新图片发送到计算机视觉服务器以再次进行分析。
延迟屏幕刷新
“ 延迟屏幕刷新 ”(热键: F2)按钮会在等待 3 秒后刷新目标应用程序。 还会捕获运行时自动滚动方向(ScrollDirection 属性)。
相对于
具有“指明”向导的活动还包括“相对于”功能,其中目标是一个稳定的元素,并且您可以相对于它拖动一个距离。主目标(稳定目标)充当第二个目标(相对目标)的代理目标。
当您想要选择与 Computer Vision 引擎已识别的用户界面元素不对应的区域时,或者当您想要在用户界面中选择常规区域而不指定特定用户界面元素时,这非常有用。
相对目标可以是要自动化的应用程序中的单点或区域选择。
单点选择通常放置在 Computer Vision 检测不准确并且可能找不到某些元素的位置。使用单点选择的活动包括“CV 单击”、“CV 悬停”和“CV 键入”。
区域选择由“CV 获取文本”使用,并为此活动自动激活。
一般来说,您添加的任何锚点都必须在运行时找到,这意味着如果至少一个锚点找不到,则无法找到整个选择。因此,锚点必须是稳定的元素,即 Computer Vision 每次都能检测到的元素,并且在运行时不会在用户界面中发生大幅变化。
假设您要单击下图中的“X”按钮。您可以注意到,目标位于“X”按钮上,但单击发生在绿色圆圈内;这是因为您选择了相对于“X”按钮进行单击。因此,除非 Computer Vision 无法检测到某个用户界面元素,否则无需使用“相对于”功能。
要选择“X”按钮而不是与其相关的区域,请确保“X”按钮上有绿色边框。
如果“X”按钮不稳定,您可以相对于稳定的元素单击。
表格指示
计算机视觉活动还提供对指示表的支持。 可以通过选择要与之交互的单元格来完成表格中的定位,这会提示神经网络自动识别定义该单元格位置的列和行,并在网格中显示它们。
默认情况下,描述符中使用列名和行名来查明单元格的位置。 单击列索引和行索引会自动将其添加到描述符中。 这在列名称和行名称已更改但您希望提取单元格的相同位置的情况下可能很有用。
成功 指定目标后,向导将关闭,并使用您选择的目标配置活动。